Softmax注意力与线性注意力的优雅融合，Agent Attention推动注意力新升级
Softmax注意力与线性注意力的优雅融合，Agent Attention推动注意力新升级来自清华大学的研究者提出了一种新的注意力范式——代理注意力 (Agent Attention)。
来自主题: AI资讯
8069 点击 2023-12-25 16:36
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
来自清华大学的研究者提出了一种新的注意力范式——代理注意力 (Agent Attention)。
日前，由美国罗格斯大学和密西根大学研究团队提出的 AI Agent——WarAgent 便成功模拟了包括第一次世界大战、第二次世界大战和中国古代战国时期战争在内的历史重大国际冲突。
今年 4 月 7 日，斯坦福大学发表的《Generative Agents: Interactive Simulacra of Human Behavior》论文出来之后的几天内，其中提到了一个很有趣的细节是信息的传递：一个 agent 想要举办情人节派对的消息会在小镇中逐渐扩散开来。
面壁智能 联合 清华自然语言处理实验室 等机构的研究人员共同发布了新一代流程自动化范式 Agentic Process Automation，该范式不仅实现了工作流构建的自动化，更在工作流执行时引入了动态决策的自动化。
最近一直投入精力到我的 Sheet Chat 上，对系统进行了一些列的改造，将插件的概念升级为 Agent, 同时尝试开发多 Agent 协作，这篇文章主要是对 Agent 开发的一些思考。
在新模型发布后，智谱 AI CEO 张鹏和极客公园聊了聊他们的近况和一些行业认知。谈到与ChatGLM2相比，智谱 AI 此次瞄准 GPT-4V 推出的 ChatGLM 3 性能更加强大，接入了具有多模态理解能力的模型 CogVLM、代码增强模块 Code Interpreter、网络搜索增强模型 WebGLM，并增强了语义理解和逻辑理解能力，实现了若干功能的迭代升级。
WorkMagic成立于 2023 年，定位于生成式 AI 驱动的多Agent营销SaaS平台。公司现阶段主要面向 Shopify 等独立站中小电商商家提供覆盖客户管理、商品管理和营销管理的端到端 AI 原生营销解决方案。依托「LLM+API+Marketplace」的 AI agent 设计，WorkMagic 旨在帮助客户实现营销目标的拆解、分析、推理，以及营销计划的设计和执行。
智谱AI&清华KEG提出了一种对齐 Agent 能力的微调方法 AgentTuning，该方法使用少量数据微调已有模型，显著激发了模型的 Agent能力，同时可以保持模型原有的通用能力。
Agent 的思路为我们带来了 Software 2.0 的图景：LLM 作为推理引擎能力不断增强，AI Agent 框架为其提供结构化思考的方法，软件生产进入“3D 打印”时代
为了解决AutoGPT一旦运行起来就不受控制的痛点，并且调优 LLM Agent 的过程更简单更系统化，波形智能联合苏黎世联邦理工大学和浙江大学，开发了名为 Agents 的开源智能体框架。